你会怎样衡量你的产品？ —— 一点产品数据分析的经验分享
目标读者：涉及产品数据的新人（PM、数据分析师、产品运营）
当我刚开始在文图做产品实习生的时候，想做点数据分析，但有很多问题，不知道怎么做，比如
怎样对产品做数据分析？用什么样的工具？
怎么定义产品的指标 (metrics)？
为什么要做数据分析？数据分析能带来什么样的价值？
于是找了不少书和资料，才做了一点微小的工作。
目前，这方面的例子并不多，所以，这里以我们的产品文图(s://www) 为例，分享一点微小的经验，希望能对和我一样的新人们有所帮助，当中存在的问题也欢迎指正
注：因为商业上的一些考虑，所以对数据做了遮挡处理，希望大家可以理解
1. 产品与Metrics
(1) 文图是什么？
文图是一款用来做数据报告（下图）的产品
比如，你写了一篇数据分析报告，然后希望看起来比较专业（排版、颜色），那么可以用文图，因为有设计好的样式。另一方面，图表、表格中的数据都是可交互的，也有目录导航，对读者有较好的阅读体验。
(2) 怎么定义产品的数据指标？
产品数据分析的基本，是各项指标(metrics)，当中最常用的是AARRR模型 [1]，也就是把用户从访问到使用，分成了获取（Aquisition）、激活（Activiation）、留存（Retention）3个阶段（下图）
其核心指标是留存/活跃用户数，也就是希望用户能再次访问（e.g. 微信, 微博）
然而，AARRR并不适合所有产品
一个简单的例子是，Airbnb的留存肯定也很低，因为没有人会每天订房间。文图也类似，没有人会每天写报告，可能一个月一篇就不错了。因此，短期留存的意义不大, 留存/活跃用户更大程度上是产品好坏的最终反映，而非需要直接提升的指标。
所以，我们用HEART模型来定义metrics （下图，具体介绍见[2]）
具体而言，是从产品本身的目的入手，更为本质。
文图的目的是帮助用户制作数据文档，在产品中由多个事件组成：文档创建 -> 编辑文档 -> 文档完成（发布/下载）。最核心的指标，是完成文档的数量，即有多少文档发布、下载了。同样的, Airbnb的核心指标之一是订床的数量, 而不是每天的活跃用户有多少。
不过，这只是对“制作者”而言。对于运营人员、数据分析师这些制作者来说, 他们最终的目的是希望“读者”能方便的阅读文档，了解数据和分析的结果，文图也因此才会有移动端阅读、分享到微信等功能。所以，只有保证读者有良好的体验，制作者才会长期的使用下去。不过，这方面并没想到好的指标。
最后，总的metrics包括
(1) 基本状况
注册用户数（按周/月）
活跃用户数（按周/月）
(2) 业务指标
文档制作者: 创建文档 -> 编辑文档 -> 发布、下载
文档读者: 暂缺
(3) 增长指标
aquisition 转化率: 访问 -> 注册按钮-> 注册成功
activiation 转化率: 注册成功 -> 创建文档 -> 编辑文档
2. 实现
设计好了metrics，怎么具体得到这些数据呢？
我们用神策（类似Mixpanel/GrowingIO），包括基本的dashboard和更复杂的事件分析
上图是我们的dashboard, 包括注册用户、文档创建等指标，每天用来了解产品的基本使用情况。
在代码实现上，用户做了相应的操作，就用js把相应的数据传输到后台进行记录（埋点），之后就可以用神策进行分析了。
比如
(1) 文档制作漏斗
可以用漏斗模型看文档制作中各个步骤的转化率（创建 -> 编辑 -> 下载/发布）
而完成文档的用户数，就是我们产品的核心用户群
这个也放在了dashboard中，可以看到，每周都会有许多用户在文图上完成了文档制作
(2) 注册成功/失败比例
对用户注册的行为做了记录（分成成功和失败），能看到产品注册成功/失败的曲线
(3) 文档类型比例
文图的文档有多种类型，包括单页-PPT-打印文档3种，这3种各占比例多少呢？我们内部几乎都是用单页文档，但看到数据，发现实际用户创建PPT的并不少，比我们预想的多多了
3. 案例：这个模板好用吗？
文图的核心功能之一，是用户可以使用模板（下图）创建文档。这些模板都是经过设计的，比单纯的Excel + Word来的要更好看。
但是，我们对模板的设计并不满意，觉得一些模板并不好看，而且，也常有用户说某个模板颜色对比不够等等
这些模板好用吗？怎么分析这个问题？
可以从文档完成率考虑 —— 用户创建文档后，经过一系列的操作，最终完成文档（发布、下载）。期间，有没有可能因为模板的不足（e.g. 颜色对比不够），而放弃呢？
各模板的创建量、完成量和完成率（完成率=完成量/创建量）如下
可以看到
默认模板(blue)创建量明显高于其他模板，说明数据基本准确
完成率和创建量相当不同，创建最多的并不是完成率最高的，而一些小众模板（pure）的完成率不错，说明计算基本上有效。而且这个顺序和我们主观的感知也大致相符
仔细观察完成率最后几位 (my_red, my_blue, my_green)，可以发现一个共同点，都带有header. 这和一些用户的反馈相同，“自己写了个文档，结果头上顶个别人家的header, 觉得不爽 ”，也难怪写到一半就不写了
而很有意思的是，blue 和my_blue的关系（下图）
这两个模板大体相同，只是后者带了header，而完成率就有了区别。考虑到blue作为默认的模板本身会有大量的试用，其实际完成率要更高， 因此可以说，单单加上这个header，文档的完成率就会往下掉大概15% 。而去掉header, 文档完成的数量就很有可能提升。
总之，通过完成率，可以发现模板设计的好坏对文档完成有较大影响
而且，假如把所有模板的设计水平都提升到第一的水准，是近40%的提升。把这些分析结果告诉设计师，他们也就更有动力、方向做改进了，而不是简简单单的说“把模板设计得更好看”
4. 案例: 为什么产品没有增长？
仔细观察dashboard，会发现更深层次的问题
注册量: 始终不变. 意味着自然流量来源没有增加，也就是说没有任何人为我们自发宣传，没有口碑传播
文档创建量: 始终不变，意味着活跃用户没有增长, 否则应该逐渐积累并增加. 意味着大量的用户流失, 没有继续使用
简单来说，产品没有明显的增长，尽管这一年更新了许多功能 ，尽管每周会有许多用户在文图上完成文档制作（此处应有心碎的声音，呜呜）
为什么会这样？
可能原因之一，是文图本身的特性所致。
像上图，是典型用户的行为次数统计，可以看到3-4月第一次使用，再次使用就是8月了，而下次使用呢？这是我们的用户，但他的留存效果并不明显。Airbnb也是类似，其留存是按年计算的 [3]。
那怎么分析这个问题？
数据分析师同学们可能已经摩拳擦掌，想了很多模型、算法了。。。。。
但更好的办法是直接找到用户，问他们为什么继续使用/放弃使用，也就是用户访谈。在这里，可以分群体访谈，比如
流失用户：3个月前注册并完成文档的用户，但之后没有再使用的。为什么没有再使用？是使用效果不满意，还是行为本身低频？
留存用户：本月完成文档，但是在3个月之前注册的老用户。为什么持续使用？他们用来做什么？有没有可能找到更多类似的用户？他们是从哪里知道文图的？
尝试但是未完成文档的用户：本月注册成功，并尝试使用（编辑文档5次以上），但最终没有完成文档的。产品在哪些方面有问题，最终没有完成文档？
5. 总结
这里，我们以自己的产品文图为例介绍了产品数据分析的一些基本的内容，包括
怎样设定metrics (HEART)，而不仅仅是从活跃用户数的角度去考虑
怎样运用metrics分析 （模板完成率的分析，实质是定量分析）
怎样不用metrics做分析（用户访谈，实质是定性分析）
不过，为什么要对产品做数据分析？
数据分析只是手段，重要的是目的
通常，我们会关心这些问题
产品发展得如何，是否有增长？存在什么问题？
新开发的功能反映如何？是不是起到了效果？
怎么和团队沟通这些判断、分析？
用数据分析可以较好的回答这些问题，尤其在团队内部沟通的时候。
因为对产品，人们总有不同的看法/感觉，有的人觉得这样好，有的人觉得那样好。用数据交流，效果就更好一点，因为是在拿结果说话，而不是光靠感觉。更何况，大家很多时候会发现，用户的实际反馈和你的感觉并不一样。（这点对老板们也很重要，否则团队就是在满足老板的“感觉”，而不是实际的用户需求。）
但另一方面，数据分析也不是万能的，很难告诉我们“为什么”
就比如最后的例子，产品做了很多功能，为什么还是没人用呢？数据其实没有办法直接告诉我们原因，这需要采用访谈等其他方法了。
6. 学习资源
最后，介绍一些产品数据分析方面的学习资源，方便同学们入门
关键字：Product Analytics，不是Data Science. Data Science更接近于推荐系统中涉及到的算法，而Analytics 则是数据分析、指标这些了。
(1) Lean Analytics, 中文版《精益数据分析》
https://book.douban.com/subject/19992844/
包括了许多实际的案例，很好的说明了数据分析能带来什么价值。我个人非常喜欢案例中通过分析解决问题的思维方式。
刚入门的话，只看第1部分即可，之后可以按需要再回头看
(2) How to Measure Anything, 中文版《数据化决策》
https://book.douban.com/subject/24773139/
只看第1部分即可，也是学习当中数据分析的思维方式
顺带一提，看完这部分，产品面试中常见的估算问题也能基本搞定了
(3) Growth（用户增长）
说到产品的数据分析，一定会提到Growth，这两个很多时候是等价的。这方面内容很多，作为入门，我推荐
a. Andrew Chen: The Next Feature Fallacy
http://andrewchen.co/the-next-
“产品没人用？ 那做个更NB的功能吧，这样就有人用了。” —— 这样做对吗？
b. YC Startup课程: How to Get Users and Grow - Alex Schultz
https://www.youtube.com/watch?v=URiIsrdplbo
YC的课程，Facebook的VP Growth专门讲Growth的，个人也非常喜欢
最后，数据分析落到实处，其实就是这句话 [4]
Good teams celebrate when they achieve a significant impact to the business KPI’s. Bad teams celebrate when they finally release something.
好的团队在达成重要的KPI的时候进行庆祝, 差的团队在终于发布了点东西的时候进行庆祝。
[1] AARRR, http://500hats.typepad.com/500blogs/2007/09/startup-metrics.html http://
[2] HEART, https://library.gv.com/how-to-choose-the-right-ux-metrics-for-your-product-5f46359ab5be
[3] Airbnb, http://blog.ycombinator.com/growth-guide2017/
[4] Good Product Team, Bad Product Team, https://book.douban.com/review/8421504/